13. Pre-Notebook:负采样

Notebook:Word2Vec,负采样

下面你需要使用 SkipGram 结构负采样改善 Word2Vec 模型并加快训练速度。

建议使用当前标签页观看课程,同时用新标签页打开 notebook,边学习边操作。这样可以一边学习新技能,一边编写代码/运用新技能。

打开 notebook 的方法:

  • 直接在课堂里在线打开(推荐)
  • Github 克隆代码库,再打开 word2vec-embeddings 文件夹里的 notebook Negative_Sampling_Exercise.ipynb。你可以使用 git clone https://github.com/udacity/deep-learning-v2-pytorch.git 下载代码库,或从此链接下载归档文件。

说明

  • 定义一个新的模型,它有两个嵌入层和多个 forward 函数
  • 定义一个自定义损失,它会从噪点分布中抽取输出字词
  • 训练 RNN(快速训练)
  • 可视化在嵌入层中学习的嵌入向量

这是一个自我评估 Lab。如果你需要帮助或想参考答案,请查看同一文件夹里的 solution notebook,或点击此处

GPU Workspace

下个 workspace 支持 GPU,所以你可以选择在 GPU 实例上训练模型。建议做法:

  • 在 CPU 模式(非启用模式)下加载数据、测试函数和模型(检查参数并执行简短的训练循环)
  • 准备好大规模地训练和测试模型时,启用 GPU 以快速训练模型

当做输入的所有模型和数据都必须移到 GPU 设备上,所以请注意模型创建和训练流程中的相关移动代码。